package com.wanma.panchong;

import java.io.IOException;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import com.geccocrawler.gecco.GeccoEngine;

public class Test {
	public static void main(String[] args) throws IOException {
		GeccoEngine.create()
				// 工程的包路径
				.classpath("com.wanma.panchong")
				// 开始抓取的页面地址
				.start("http://www.cnblogs.com/boychen/p/7226831.html")
				// 开启几个爬虫线程
				.thread(10)
				// 单个爬虫每次抓取完一个请求后的间隔时间
				.interval(5)
				// 使用pc端userAgent
				.mobile(false)
				// 开始运行
				.run();

		// //这里是分享地址：
		// String url
		// ="https://kg2.qq.com/node/play?s=571cI75H1xb495Eq&shareuid=609c9b812624338a&topsource=a0_pn201001006_z11_u21643941_l0_t1534223843__";
		// Connection tempConn = Jsoup.connect(url);
		// //模拟浏览器的请求头
		// tempConn.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64;
		// rv:29.0) Gecko/20100101 Firefox/29.0");
		// //开始连接HTTP请求。
		// Connection.Response demo =
		// tempConn.ignoreContentType(true).method(Connection.Method.GET)
		// .execute();
		// Document documentDemo = demo.parse();
		// //这里就是获取该页面的HTML元素。
		// System.out.println(documentDemo.toString());
	}
}
